Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model-Skill Co-Evolution
哪个技能值得蒸馏？SGUID：为模型-技能协同进化选择紧凑技能库
🧭 LLM 技能蒸馏与模型-技能协同进化
New York University · Amazon
提出SGUID，通过筛选能持续提供有效蒸馏信号的技能子集，实现更稳定高效的模型-技能协同进化。
📌 工作参考价值（4 点）
- 在构建技能/指令库用于 RAG 或 Agent 时，不要仅按语义相关性全量检索；借鉴 SGUID，用 on-policy 蒸馏信号评估每个技能的真实效用，只保留能持续提供正向学习信号的技能，可显著压缩技能库规模（论文中 6 个技能 vs 全库最多 11 倍），降低推理与蒸馏开销。
- 模型-技能协同进化循环可迁移到搜索推荐场景：从线上模型 rollouts 中挖掘新的有效技能（如 query 改写规则、排序策略提示），用选择机制过滤无效技能，避免全量回放导致性能退化（论文中 Qwen3-4B 未过滤技能使 HMMT25 下降 0.3 点）。
- 对生成式推荐或 QueryRec 中的 prompt/技能管理：不是所有提示模板或策略都值得固化进模型，可以通过蒸馏信号筛选少数高价值技能，实现轻量级模型能力提升，特别适合频繁迭代的线上系统。
- 强调选择步骤是保证稳定进化的关键；实际业务中应设置在线评估或小流量实验验证技能有效性，避免直接引入未过滤技能伤害线上模型。